"""
auth:xgt-python
datetime:2021/11/13
爬取某素材网vip内容
"""
# 导入相应的模块
import requests
import parsel

# 1. 找到相对应的链接地址
url = 'https://ibaotu.com/shipin/'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}

response = requests.get(url=url,headers=headers)
html = response.text # 取对象的文本数据
print(html)

# 3.数据解析(想要的数据)   请求到的是html 数据， xpath  css选择器专门提取html数据
selector = parsel.Selector(html)# 转换数据类型

lis = selector.xpath('//ul[@class="clearfix"]/li')  # 所有li标签

for li in lis:
    video_title = li.xpath('./@pr-data-title').get()
    video_url = li.xpath('.//video/@src').get()
    print(video_title,video_url)

    video_url = 'http:' + video_url

    # 请求视频数据  视频  图片  音频   属于二进制数据
    video_data = requests.get(url=video_url,headers=headers).content   # content  获取二进制数据

    # 4.数据保存 < 数据持久化 >
    with open('Video-付费内容\\' + video_title + '.mp4',mode='wb') as file:
        file.write(video_data)
        print('保存完成:',video_title)


# os 目录操作模块








